Depth map super-resolution (DSR) has been a fundamental task for 3D computer vision. While arbitrary scale DSR is a more realistic setting in this scenario, previous approaches predominantly suffer from the issue of inefficient real-numbered scale upsampling. To explicitly address this issue, we propose a novel continuous depth representation for DSR. The heart of this representation is our proposed Geometric Spatial Aggregator (GSA), which exploits a distance field modulated by arbitrarily upsampled target gridding, through which the geometric information is explicitly introduced into feature aggregation and target generation. Furthermore, bricking with GSA, we present a transformer-style backbone named GeoDSR, which possesses a principled way to construct the functional mapping between local coordinates and the high-resolution output results, empowering our model with the advantage of arbitrary shape transformation ready to help diverse zooming demand. Extensive experimental results on standard depth map benchmarks, e.g., NYU v2, have demonstrated that the proposed framework achieves significant restoration gain in arbitrary scale depth map super-resolution compared with the prior art. Our codes are available at https://github.com/nana01219/GeoDSR.
translated by 谷歌翻译
本文提出了一种基于中风的新型渲染方法(SBR)方法,该方法将图像转化为生动的油画。以前的SBR技术通常将油画问题作为像素近似。与这种技术路线不同,我们将油漆的创造视为一种自适应抽样问题。首先,我们根据输入图像的纹理复杂性计算概率密度图。然后,我们使用Voronoi算法将一组像素作为中风锚进行采样。接下来,我们在每个锚点上搜索并生成一个单独的石油冲程。最后,我们将所有笔触都放在画布上以获取油画。通过调整高参数的最大抽样概率,我们可以以线性方式控制油漆的细度。与现有的最先进的油画技术进行比较表明,我们的结果具有更高的保真度和更现实的纹理。用户意见测试表明,与其他方法的结果相比,人们对我们的油画的行为更加偏爱。更有趣的结果和代码在https://github.com/tzysjtu/im2oil中。
translated by 谷歌翻译
基于对比度学习的基于自我监督的骨架识别引起了很多关注。最近的文献表明,数据增强和大量对比度对对于学习此类表示至关重要。在本文中,我们发现,基于正常增强的直接扩展对对比对的表现有限,因为随着培训的进展,对比度对从正常数据增强到损失的贡献越小。因此,我们深入研究了对比对比对的,以进行对比学习。由混合增强策略的成功激励,通过综合新样本来改善许多任务的执行,我们提出了Skelemixclr:一种与时空的学习框架,具有时空骨架混合增强(Skelemix),以补充当前的对比样品,以补充当前的对比样品。首先,Skelemix利用骨架数据的拓扑信息将两个骨骼序列混合在一起,通过将裁切的骨骼片段(修剪视图)与其余的骨架序列(截断视图)随机梳理。其次,应用时空掩码池在特征级别上分开这两个视图。第三,我们将对比度对与这两种观点扩展。 SkelemixClr利用修剪和截断的视图来提供丰富的硬对比度对,因为它们由于图形卷积操作而涉及彼此的某些上下文信息,这使模型可以学习更好的运动表示以进行动作识别。在NTU-RGB+D,NTU120-RGB+D和PKU-MMD数据集上进行了广泛的实验表明,SkelemixClr实现了最先进的性能。代码可在https://github.com/czhaneva/skelemixclr上找到。
translated by 谷歌翻译
令牌化是预用语言模型(PLMS)的基础。用于中文PLMS的现有销量化方法通常将每个角色视为不可分割的令牌。然而,它们忽略了中文写字系统的独特特征,其中附加语言信息在字符级别下方,即在子字符级别。要利用此类信息,我们提出了子字符(Sub Const for Short)标记。具体地,我们首先通过基于其字形或发音将每个汉字转换为短序列来编码输入文本,然后根据具有子字标记化的编码文本构造词汇表。实验结果表明,Sub Colar标记与现有标记均具有两个主要优点:1)它们可以将输入牌销料到更短的序列中,从而提高计算效率。 2)基于发音的Sub Col.Tokenizers可以将中文同音铭器编码为相同的音译序列并产生相同的标记输出,因此对所有同音声音拼写的强大。与此同时,使用Sub Colar标记培训的模型竞争地执行下游任务。我们在https://github.com/thunlp/subchartoken中发布我们的代码,以促进未来的工作。
translated by 谷歌翻译
提示将下游应用程序作为语言建模任务施放,与使用预训练的模型进行标准微调相比,已显示出样本有效的效率。但是,提示的一个陷阱是需要手动设计的模式,其结果可能是不直觉的,需要大量的验证集来调整。为了应对挑战,我们提出了一种全自动提示方法Autoseq:(1)我们在序列到序列模型上采用自然语言提示,从而实现自由形式生成和更大的标签搜索空间; (2)我们提出了标签序列 - 无限长度的短语以口头表达标签 - 这消除了手动模板的需求,并且比单个标签单词更具有表现力; (3)我们使用Beam Search自动生成大量的标签序列候选物,并提出对比度重新排列以获得最佳组合。 Autoseq显着胜过其他无手动设计方法,例如软提示调整,适配器调整和自动搜索单个标签单词;生成的标签序列比各种任务上的精选手动序列更好。我们的方法揭示了几次学习中序列模型的潜力,并阐明了通用通用和自动提示的途径。本文的源代码可以从https://github.com/thunlp/seq2seq-prompt获得。
translated by 谷歌翻译
实体链接旨在将模棱两可的提及与知识库中的相应实体联系起来,这对于各种下游应用程序是重要的,例如知识库完成,问题答案和信息提取。尽管已经致力于这项任务,但这些研究中的大多数遵循以下假设,即可以使用大规模标记的数据。但是,当由于劳动密集型注释工作而导致的标记数据不足以针对特定领域时,现有算法的性能将遭受无法忍受的下降。在本文中,我们努力解决了几个弹药实体链接的问题,这只需要最少的标记数据,并且在实际情况下更为实用。具体而言,我们首先提出了一种新颖的弱监督策略,以基于提及的重写生成非平凡的合成实体对。由于合成数据的质量对有效的模型训练有关键的影响,因此我们进一步设计了一种元学习机制,以自动为每个合成实体对分配不同的权重。通过这种方式,我们可以深刻利用丰富而宝贵的语义信息,从而在几个射击设置下得出训练有素的实体链接模型。现实世界数据集上的实验表明,所提出的方法可以广泛改善最新的几杆实体链接模型,并在只有少量标记的数据可用时实现令人印象深刻的性能。此外,我们还展示了模型可传递性的出色能力。
translated by 谷歌翻译
深层自然语言处理(NLP)模型的快速发展导致迫切需要对这些模型单独提出的统一理解。由于缺乏解释低级(例如单词)和高级(例如,短语)特征的统一措施,现有方法无法满足一个框架中不同模型的需求。我们已经开发了一个视觉分析工具DeepNLPVI,以使对文本分类的NLP模型有统一的理解。关键思想是一种基于信息的度量,它提供了有关模型的每一层如何维护样本中输入单词信息的定量解释。我们在每个层的内部和界面信息中对单词对最终预测的重要性以及单词之间的关系(例如短语的形成)进行建模。多层可视化由语料库级,样本级别和单词级可视化组成,支持从整体训练集到单个样本的分析。关于分类任务和模型比较的两个案例研究表明,DeepNLPVI可以帮助用户有效地确定样本和模型架构引起的潜在问题,然后进行明智的改进。
translated by 谷歌翻译
实现通用语言情报是自然语言处理的长期目标,标准评估基准发挥基本和指导作用。我们认为,对于通用语言智能评估,基准本身需要全面和系统。为此,我们提出了Cuge,一种中文语言理解和生成评估基准,具有以下特征:(1)分层基准框架,其中数据集主要选择和组织语言能力 - 任务数据集层次结构。 (2)多级评分策略,其中基于分层框架提供了不同级别的模型性能。为了促进CUGE,我们提供了一个公共排行榜,可以自定义,以支持灵活的模型判断标准。代表性预先训练的语言模型的评估结果表明了对通用语言智能的完善的充足空间。 Cuge在Cuge.baai.ac.cn上公开提供。
translated by 谷歌翻译
基于方面的情绪分析旨在确定产品评论中特定方面的情感极性。我们注意到,大约30%的评论不包含明显的观点词,但仍然可以传达清晰的人类感知情绪取向,称为隐含情绪。然而,最近的基于神经网络的方法几乎没有关注隐性情绪,这一审查有所关注。为了克服这个问题,我们通过域名语言资源检索的大规模情绪注释的Corpora采用监督对比培训。通过将隐式情感表达式的表示对准与具有相同情绪标签的人,预培训过程可以更好地捕获隐含和明确的情绪方向,以便在评论中的方面。实验结果表明,我们的方法在Semeval2014基准上实现了最先进的性能,综合分析验证了其对学习隐含情绪的有效性。
translated by 谷歌翻译
预训练模型(PTM)已被广泛用于各种下游任务。 PTM的参数分布在Internet上,可能会遭受后门攻击。在这项工作中,我们演示了PTMS的普遍脆弱性,在该工作中,可以通过任意下游任务中的后门攻击轻松控制PTMS。具体而言,攻击者可以添加一个简单的预训练任务,该任务将触发实例的输出表示限制为预定义的向量,即神经元级后门攻击(NEUBA)。如果在微调过程中未消除后门功能,则触发器可以通过预定义的矢量预测固定标签。在自然语言处理(NLP)和计算机视觉(CV)的实验中,我们表明Neuba绝对可以控制触发实例的预测,而无需了解下游任务。最后,我们将几种防御方法应用于Neuba,并发现模型修剪是通过排除后门神经元来抵抗Neuba的有希望的方向。我们的发现听起来是红色警报,用于广泛使用PTM。我们的源代码和模型可在\ url {https://github.com/thunlp/neuba}上获得。
translated by 谷歌翻译